Ngũ Đài sơn có tên gọi như vậy là do địa hình bất thường của nó, bao gồm 5 đỉnh thuôn tròn (Bắc, Nam, Đông, Tây, Trung) hay còn gọi tương ứng là Diệp Đấu phong, Cẩm Tú phong, Vọng Hải phong, Quải Nguyệt phong và Thúy Nham phong; trong đó đỉnh phía bắc (Bắc Đài hay Diệp Đấu phong) là cao nhất và trên thực tế là đỉnh núi cao nhất tại miền Hoa Bắc.

Ngũ Đài sơn từng là số một trong số 4 núi được nhận dạng và thường được nói tới như là "số một trong số tứ đại danh sơn". Nó được nhận dạng trên cơ sở đường đi tìm đạo trong kinh Hoa Nghiêm, được miêu tả như là nơi ở/tu luyện của nhiều vị bồ tát. Trong chương này, Văn Thù bồ tát được coi là cư ngụ tại một "ngọn núi mát lạnh và trong lành" ở phía đông bắc. Điều này được coi là đặc điểm riêng biệt để nhận dạng ngọn núi này và tên gọi khác của nó "Thanh Lương sơn" nghĩa là núi trong lành và mát lạnh.

Người ta tin rằng bồ tát Văn Thù thường hiển linh trên núi này dưới dạng của những người hành hương hay nhà sư bình thường hoặc hay xuất hiện dưới dạng các đám mây ngũ sắc bất thường.